MATLAB testcholdut マクネマー検定
"マクネマー検定" は、標本のペアに依存関係があることによって生じる問題に対処して 2 つの母集団比率を比較する仮説検定です。
2 つの分類モデルの予測精度を比較する方法の 1 つは、次のとおりです。
1. データを学習セットと検定セットに分割します。
2. 学習セットを使用して両方の分類モデルを学習させます。
3. 検定セットを使用してクラス ラベルを予測します。
4. 次の図のような 2 x 2 の表に結果を要約します。
分割表
nii は、一致するペアの数、つまり両方のモデルで同じように (正しくまたは誤って) 分類される観測の数です。i ≠ j の場合の nij は、一致しないペアの数、つまりモデルでさまざまに (正しくまたは誤って) 分類される観測の数です。
(略)帰無仮説は H0:π12=π21. に縮小されます。また、この帰無仮説では、N12 が (n12 + n21,0.5) の二項分布になります。
参考文献:Agresti, A. Categorical Data Analysis, 2nd Ed. Hoboken, NJ: John Wiley & Sons, Inc., 2002.
マクネマー検定のバリエーションとして利用できる "漸近"、"厳密条件" および "mid-p 値" マクネマー検定